Trong ngày đầu tiên phát hành, ca khúc ra mắt ở vị trí thứ 31 trên bảng xếp hạng Billboard Hot 100, tiếp tục nâng số lượng bài hát lọt vào top 40 của Swift lên đến 119 bài.[37] Bài hát cũng đạt vị trí thứ 13 trên bảng xếp hạng Hot Country Songs của Hoa Kỳ, bài hát cũng trở thành ca khúc đầu tiên của Williams xuất hiện trong cuộc khảo sát.[38] Ngoài ra, "Castles Crumbling" cũng xuất hiện trên các bảng xếp hạng Billboard khác như Global 200 được xếp hạng ở vi trí thứ 30 và Canadian Hot 100 ở vi trí thứ 42. Ở những quốc gia khác, ca khúc đứng ở vị trí thứ 33 trên bảng xếp hạng ARIA Singles của Úc và tại New Zealand ở vị trí thứ 30.[39][40]

Nhiều trang báo như The Daily Telegraph và The Line of Best Fit đều khẳng định rằng, họ luôn mong đợi một tác phẩm có phong cách khá giống với ban nhạc Paramore, nhưng khi nghe được "giọng ca ngọt ngào" và giống với các tác phẩm solo của Williams khiến nhiều người cảm thấy thất vọng.[41][42] Poppie Platt từ tờ The Daily Telegraph đã ví "Castle Crumbling" như là một sự bổ sung tuyệt vời cho các bản ballad Speak Now khác như bài "Enchanted" và "Last Kiss".[41] Maura Johnston từ tạp chí Rolling Stone đã gọi bài hát giống như một cuộc khảo sát cẩu thả về phong cảnh cá nhân bị hủy hoại, đồng thời bà cũng ví nó giống với ca khúc cùng album "Innocent".[43]

Mary Siroky từ trang Consequent đã gọi "Castles Crumbling" là bài hát của tuần và cho rằng, ca khúc là một "câu chuyện khai hoang nhẹ nhàng nhưng đậm nét sâu sắc".[44] Laura Snapes từ tờ The Guardian đã khẳng định "Castle Crumbling" là một "bài hát tinh tế, bỡ ngỡ" và nó như là một "lời tiên tri mà Swift đã viết trước khi bắt đầu thời kỳ hoàng kim của cô".[45] Mark Sutherland từ Rolling Stone UK đã gọi bài hát là "bản song ca của thời đại", ông còn ca ngợi giọng ca của cả hai ca sĩ đều "hòa quyện vào nhau một cách tuyệt vời khi họ đều phải vật lộn với nỗi sợ rằng, nếu một ngày nào đó những tiếng cổ vũ có thể biến thành những lời chế nhạo".[46] Mary Kate Carr từ trang AV Club ghi nhận về chủ đề phổ biến trong album Reputation năm 2017 của Swift đã nổi bật ngay cả trong album Speak Now với chủ đề về "Castles Crumbling".[28] Bobby Olivier từ tập chí Spin đã gọi "Castles Crumbling" là bản song ca "mạnh mẽ" nhất trong Speak Now (Taylor's Version) so với ca khúc "Electric Touch" hợp tác với ban nhạc Fall Out Boy và chỉ khẳng định bài hát như là "bản piano theo cảm xúc ngọt ngào".[22] Tuy nhiên, Jason Lipshutz từ tạp chí Billboard lại xếp hạng bài hát ở vị trí cuối cùng trong album, cho rằng "dù nó không phải là bài hát vault hay nhất", nhưng quá trình sản xuất "tràn ngập những giọng ca mang ý niệm thanh tao khi mà Swift và Williams đều duy trì ở thái độ thê lương như cái cách kiểm tra đống đổ nát cá nhân của chính họ".[47]